Spurious correlations in training data often lead to robustness issues since models learn to use them as shortcuts. For example, when predicting whether an object is a cow, a model might learn to rely on its green background, so it would do poorly on a cow on a sandy background. A standard dataset for measuring state-of-the-art on methods mitigating this problem is Waterbirds. The best method (Group Distributionally Robust Optimization - GroupDRO) currently achieves 89\% worst group accuracy and standard training from scratch on raw images only gets 72\%. GroupDRO requires training a model in an end-to-end manner with subgroup labels. In this paper, we show that we can achieve up to 90\% accuracy without using any sub-group information in the training set by simply using embeddings from a large pre-trained vision model extractor and training a linear classifier on top of it. With experiments on a wide range of pre-trained models and pre-training datasets, we show that the capacity of the pre-training model and the size of the pre-training dataset matters. Our experiments reveal that high capacity vision transformers perform better compared to high capacity convolutional neural networks, and larger pre-training dataset leads to better worst-group accuracy on the spurious correlation dataset.

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Some existing approaches extract deep features from pre-trained networks and build a graph to apply classical clustering methods (e.g., $k$-means and normalized-cuts) as a post-processing stage. These techniques reduce the high-dimensional information encoded in the features to pair-wise scalar affinities. In this work, we replace classical clustering algorithms with a lightweight Graph Neural Network (GNN) trained to achieve the same clustering objective function. However, in contrast to existing approaches, we feed the GNN not only the pair-wise affinities between local image features but also the raw features themselves. Maintaining this connection between the raw feature and the clustering goal allows to perform part semantic segmentation implicitly, without requiring additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training our image segmentation GNN. Additionally, we use the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters ($k$-less clustering). We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.

Training a generative model on a single image has drawn significant attention in recent years. Single image generative methods are designed to learn the internal patch distribution of a single natural image at multiple scales. These models can be used for drawing diverse samples that semantically resemble the training image, as well as for solving many image editing and restoration tasks that involve that particular image. Here, we introduce an extended framework, which allows to simultaneously learn the internal distributions of several images, by using a single model with spatially varying image-identity conditioning. Our BlendGAN opens the door to applications that are not supported by single-image models, including morphing, melding, and structure-texture fusion between two or more arbitrary images.

ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。

在元加强学习（META RL）中，代理商从一组培训任务中学习如何快速解决从相同的任务分布中绘制的新任务。最佳的元rl政策，又称贝叶斯最佳行为，是很好的定义，并保证了对任务分布的预期最佳奖励。我们在这项工作中探讨的问题是，需要多少培训任务来确保具有很高可能性的大致最佳行为。最近的工作为无模型设置提供了第一个这样的PAC分析，其中从培训任务中学到了依赖历史的政策。在这项工作中，我们提出了一种不同的方法：使用密度估计技术直接学习任务分布，然后对学习任务分布进行培训。我们表明，我们的方法导致界限取决于任务分布的维度。特别是，在任务分布中处于低维多方面的环境中，我们将分析扩展到使用降低性降低技术并说明这种结构，从而比以前的工作明显更好，这严格取决于状态和行动的数量。我们方法的关键是内核密度估计方法所隐含的正则化。我们进一步证明，当“插入”最先进的Varibad Meta RL算法时，这种正则化在实践中很有用。

自然图像和医学图像之间的根本差异最近有利于对医学图像应用中的Imagenet转移学习使用自我监督学习（SSL）。图像类型之间的差异主要是由于成像方式和医学图像利用了广泛的基于物理的技术，而自然图像仅使用可见光捕获。尽管许多人证明了医学图像上的SSL导致了更好的下游任务绩效，但我们的工作表明可以获得更多的性能。在构建学习问题时，经常不考虑用于获取医学图像的科学原理。因此，我们建议在生成SSL期间合并定量成像原理，以提高图像质量和定量生物学准确性。我们表明，这种培训模式可为有限数据的下游监督培训提供更好的起始状态。我们的模型还生成了验证临床定量分析软件的图像。

我们提出了一个新的视觉数据表示形式，该数据将对象位置从外观上删除。我们的方法称为深潜粒子（DLP），将视觉输入分解为低维的潜在``粒子''，其中每个粒子都用其周围区域的空间位置和特征来描述。为了学习这种表示形式，我们遵循一种基于VAE的方法，并根据空间 - 软构建结构引入了粒子位置的先验位置，并修改了受粒子之间倒角距离启发的证据下限损失。我们证明，我们的DLP表示形式可用于下游任务，例如无监督关键点（KP）检测，图像操纵和针对由多个动态对象组成的场景的视频预测。此外，我们表明，我们对问题的概率解释自然提供了粒子位置的不确定性估计，可用于模型选择以及其他任务。可用视频和代码：https：//taldatech.github.io/deep-latent-particles-web/

用尖峰神经网络（SNN）对基于事件的数据集开发神经形态智能最近引起了很多研究的关注。但是，基于事件的数据集的大小有限，使SNN易于过度拟合和不稳定的收敛性。以前的学术工作仍未探索这个问题。为了最大程度地减少这种泛化差距，我们提出了神经形态数据增强（NDA），这是一个专门针对基于事件的数据集设计的几何增强家族，目的是显着稳定SNN训练并减少训练和测试性能之间的概括差距。所提出的方法简单且与现有的SNN训练管道兼容。我们首次使用所提出的增强作用，证明了无监督的SNN对比度学习的可行性。我们对盛行的神经形态视觉基准进行了全面的实验，并表明NDA比以前的最新结果产生了实质性改进。例如，基于NDA的SNN分别在CIFAR10-DV和N-Caltech 101上获得了101％和13.7％的准确性增长。代码可在github https://github.com/intelligent-computing-lab-yale/nda_snn上找到。

学习机器人技能通常被称为SIM2REAL的实用方法是培训仿真中的控制政策，然后在真正的机器人上部署它们。流行的技术改进域随机化的SIM2REAL转移构建（DR）：培训对各种随机产生的域的政策，希望能够更好地推广到现实世界。由于策略学习和DR算法中的大量超参数，一个经常最终有大量训练有素的型号，在那里选择最佳模型需要对真正的机器人进行昂贵的评估。在这项工作中，我们问：我们可以在没有在现实世界中跑步的情况下对政策进行排名吗？我们的主要思想是，可以使用预定义的真实世界数据来评估所有策略，使用分配检测（OOD）技术。从某种意义上说，这种方法可以被视为“单位测试”，以评估任何真实世界的执行前的政策。然而，我们发现本身，ood得分可能对特定的ood方法非常敏感。我们的主要贡献是一个简单尚有效的政策分数，在模拟中结合了ood。我们表明我们的得分 - VSDR - 可以显着提高政策排名的准确性，而无需额外的现实数据。我们评估VSD对具有图像输入的机器人抓握任务中SIM2REAL转移的有效性。我们广泛地评估不同的DR参数和ood方法，并显示VSDR改善了电路板上的政策选择。更重要的是，我们的方法达到了更好的排名，与基线相比使用显着更少的数据。

在灯号路口闯红灯是一个成长的道路安全问题全球，导致先进的智能交通技术和对策的快速发展。然而，现有的研究还没有总结并提出改进安全技术，这些基于创新的效果。本文代表的闯红灯行为的预测方法和技术为基础的对策进行全面审查。具体来说，本研究的重点是提供有关文献的两个流进行全面审查靶向闯红灯，并在灯号控制路口停时走的行为（1）研究专注于模拟和预测闯红灯和停止-and-go相关驾驶员的行为，（2）侧重于不同的技术为基础的措施，其打击这种不安全行为的有效性研究。这项研究提供了系统的指导，以帮助研究人员和利益相关者了解如何最好地识别闯红灯和停止和去相关的驾驶行为，并随后采取对策，以制止这种危险行为，提高相关的安全。